matlab逐步回归分析法,天大matlab大作业逐步回归分析方法.doc

天大matlab大作业逐步回归分析方法.doc

逐步回归分析方法在实际中，影响Y的因素很多，这些因素可能存在多重共线性(相关性)，这就对系数的估计带来不合理的解释，从而影响对Y的分析和预测。“最优”的回归方程就是包含所有对Y有影响的变量,而不包含对Y影响不显著的变量回归方程。选择“最优”的回归方程有以下几种方法：(1)从所有可能的因子(变量)组合的回归方程中选择最优者；(2)从包含全部变量的回归方程中逐次剔除不显著因子；(3)从一个变量开始，把变量逐个引入方程；(4)“有进有出”的逐步回归分析。以第四种方法，即逐步回归分析法在筛选变量方面较为理想.逐步回归分析法的思想：从一个自变量开始，视自变量Y作用的显著程度，从大到小地依次逐个引入回归方程。当引入的自变量由于后面变量的引入而变得不显著时，要将其剔除掉。引入一个自变量或从回归方程中剔除一个自变量，为逐步回归的一步。对于每一步都要进行Y值检验，以确保每次引入新的显著性变量前回归方程中只包含对Y作用显著的变量。这个过程反复进行，直至既无不显著的变量从回归方程中剔除，又无显著变量可引入回归方程时为止。原理：1、最优选择的标准设n为观测样本数，},,{21mxxX为所有自变量构成的集合，为X的子集。liiiA,21(1)均方误差s2最小达到最小1)(2lnASsE(2)预测均方误差最小达到最小ASlnAJE1)((3)统计量最小准则达到最小nlmSCEp21(4)AIC或BIC准则或达到最小nlASAIE2l)(nlASBICEln)((5)修正R2准则达到最大)1(22lni2、选择最优回归子集的方法(1)选择最优子集的简便方法：逐步筛选法(STEPWISE)向前引入法或前进法(FORWARD)向后剔除法或后退法(BACKWARD)(2)计算量最大的全子集法：R2选择法(RSQUARE)Cp选择法(CP)修正R2选择法(ADJRSQ)。(3)计算量适中的选择法：最小R2增量法(MINR)最大R2增量法(MAXR)步骤1、前进法：事先给定挑选自变量进入方程的显著性水平，按自变量对因变量y的贡献由大到小依次挑选自变量进入方程，直到方程外没有显著的自变量可引入为止。该方法的特点是：自变量一旦被选入，就永远保留在模型中。(1)将全部m个自变量，分别与因变量y建立一元回归方程；(2)分别计算这m个一元回归方程中回归系数的检验统计量F，记为：112,,mF取最大值1121,,axmkF若11nk，进停止筛选；若211nFk，进选入,不妨设是，进入步骤(3)；1kx1kx(3)分别将自变量组,,,与因变量y建立二元回21x31mx,1归方程，计算回归方程中x2，x3，…，xm的回归系数检验统计量F，记为：223,,mF取其最大值，2232,,axmkF若122nk，进则停止筛选，y与x1之间的回归方程就是最优的回归方程；若2FFk，进选进xk2，不妨设xk2是x2，进入步骤(4)。(4)对已经选入模型的变量，x1，x2，如同前面的方法做下去，直到所有未被选入模型的自变量的F值都小于相应的临界值为止，这时的回归方程就是最优回归方程。前进法的一般步骤：假设已进行了l步筛选，并选入自变量x1，x2，…xl，现进行第l+1步筛选：分别将自变量组，，,121,,lxx221,,lx与y建立l+1元回归方程；回归方程中mlxx,,21的回归系数检验统计量记为：ll,,1121,,lmllFF记11211,,maxlmlllk若)1(,(1lnFlkl停止筛选，上一步得到的回归方程，即为最优的回归方程；若)1(,11lnFlk将选进模型，进行下一步筛选。1lkx前进法的缺点：不能反映自变量选进模型后的变化情况。2、后退法：事先给定从方程中剔除自变量的显著性水平，开始全部自变量都在模型中，然后按自变量对y的贡献由小到大依次剔除，直至方程中没有不显著的变量可剔除为止。该方法的特点是：自变量一旦被剔除，就不再进入模型(1)建立全部自变量x1，x2，…，xm对因变量y的回归方程，对方程中m个自变量的回归系数b1，b2，…，bm进行F检验，相应的F值记为：112,,mFF取最小值1121,,inmk若111Fk，出没有自变量可剔除，此时的回归方程就是最优的回归方程若111mnFk，出剔除xk1，不妨设xk1是xm，进入步骤(2)。2)建立x1，x2，…，xm-1与因变量y的回归方程，对方程中自变量的回归系数进行F检验，相应的F值记为：2121,,m取最小值21212,,inmkFF若)(2k，出则无自变量可剔除，此时的回归方程即最优的回归方程；若1)(12mnFk，出将xk2从模型中剔除，不妨设xk2就是xm-1，进入步骤(3)；(3)重复前面的做法，直至回归方程中各变量回归系数的F值均大于临界值，即方程中没有变量可剔除为止，此时的回归方程就是最优的回归方程。后退法的一般步骤：假设已经进行了l步剔除，模型中的自变量为x1，x2，…，xm-l，现进行第l+1步剔除：建立x1，x2，…，xm-l对y的回归方程，对方程中x1，x2，…，xm-l的回归系数进行F检验，相应的F统计量记为：1121,,lmll取最小值},,in{11211lmlllkFF若1,1llk则停止筛选，y与x1，x2，…，xm-l之间的回归方程即为最优的回归方程；若1,11lmnFlk则剔除，不妨设为，进行下一步筛选。1lkx1lxl后退法的缺点：开始把全部自变量都引入模型，计算量大。3、逐步筛选法：该方法在前进法的基础上，引进后退法的思想。即对每一个自变量随着其对回归方程贡献的变化，随时地引入或剔除模型，使得最终回归方程中的变量对y的影响都是显著的，而回归方程外的变量对y的影响都是不显著的，该方法即通常所说的逐步回归法。设y是因变量，x1，x2，…，xm是所有自变量，yi，xi1，xi2，…，xim(i＝1，2，…，n)是独立抽取的n组样本。设自变量被选进模型的显著性水平为，被剔除模型的显著性水1平为，21021(1)计算离差矩阵SmymymmssssS212222111(2)逐步筛选自变量第一步筛选：①计算各自变量的贡献：jjyjsV21取最大值11)(max1jjkVV②对的作用是否显著进行统计检验：1kx111nSFEk11kTEV若,1nF则结束所有自变量皆与y无关，不能建立回归方程；若1mS1kx,1nF则将xk1选入模型，并将S转化为进行第二步筛选；)1()1()1(2)()1()1()1(2)()1(2)()1(2)(111)(1mymykkkkymmssssS其中